Bưu xuất thân bình dân, sớm mồ côi, nhà lại nghèo, nhưng có chí lớn, hiếu học không mỏi. Ban đầu Bưu theo học Trường Lạc giám Bá Dương, được Bá Dương khen ngợi. Sau đó Bưu cùng người Ngư Dương là Cao Duyệt, người Bắc Bình là Dương Ni muốn ẩn cư nơi danh sơn, không rõ vì sao lại thôi. Anh của Cao Duyệt là Cao Lư học rộng tài cao, trong nhà chứa nhiều sách vở, Bưu bèn ở lại nhà Duyệt, tay chép miệng đọc, không thèm ăn uống.

Về sau Bưu trở về quê nhà, gặp lúc Bình Nguyên vương Lục Duệ sắp đến tuổi trưởng thành, trên đường đi Nghiệp Thành, để rước dâu là con gái của người Bác Lăng, Đông Từ Châu thứ sử Thôi Giám, ghé qua Ký Châu, Tương Châu, nghe danh Bưu thì tìm đến, lấy lễ học trò mà gặp gỡ. Sau đó Lục Duệ ca ngợi Bưu ở châu quận, nên ông được cử Hiếu liêm, đến kinh sư để học tập. Cao Lư ca ngợi Bưu với giới quyền quý, Lý Xung đãi ông rất hậu, vì thế Bưu chủ yếu nương nhờ bọn họ.